MINT: A Universal Zero-Shot Predictor for Transaction Data
MINT：交易数据的通用零样本预测器
🧭 多模态交易推理 · 嵌入注入 LLM ★ 深度解读
Visa Inc.
用冻结交易序列编码器+LoRA适配LLM，通过嵌入注入实现高效零样本预测问答
📌 工作参考价值（4 点）
- 行为序列嵌入注入代替文本拼接：电商/推荐系统用户行为序列长、token 多，可预训练行为序列编码器生成紧凑嵌入，只训练 connector + LoRA，显著降低输入 token、在线延迟与显存，适合实时排序或用户表征注入 LLM 生成解释。
- 两阶段训练：先模态对齐（行为摘要 caption）再指令微调（QA + CoT 混合），提升 OOD 泛化。业务中构建预测/归因类任务时，可合成行为摘要和推理链，增强模型对未见问题的能力。
- 按任务类型选择表示：预测性任务用嵌入更好，提取式/事实查询用文本序列更优。推荐系统做可解释推荐或问答时，可根据是预测未来兴趣还是检索历史事实选择输入模态，或采用混合策略。
- LoRA 适配可插拔：领域特化会损失通用能力，但 PEFT 允许禁用 adapter 恢复 base LLM。部署时保留通用与垂直两套模式，切换成本极低。